解析器状态指导的结构化生成 KV 缓存持久化
🧭 LLM 推理优化 · 结构化生成 · KV 压缩 ★ 深度解读
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences
利用约束解码的解析器状态设计离线校准的 KV 持久化策略，大幅提升结构化生成在压缩推理下的可靠性
📌 工作参考价值（4 点）
- 电商 Agent 中大量 JSON/function call 输出，可直接复用 constrained decoding 暴露的 parser states 作为 KV 保留信号。例如将必需字段、枚举值、参数名标记为高保护 bucket，避免压缩导致关键 schema 信息丢失，降低下游调用失败率。
- 借鉴「离线校准 + 线上查表」的工程化方式：用开发集离线测量每个结构标签+层组的任务错误敏感性和注意力失真，生成策略表；线上只做轻量查找和常量预算状态更新，适合低延迟、高并发推荐/搜索 Agent 服务。
- 任务错误敏感性设置保护下限比单纯依赖注意力分数更可靠。在推荐理由生成、商品参数抽取等结构化任务中，优先保护影响最终可执行性的 token（如字段名、枚举值），可以显著提升压缩后的可靠性。
- 分层分组思路：同一结构角色在不同 Transformer 层采用不同精度（低层低精度、高层高精度），可迁移到长上下文推荐模型或多轮 Agent 对话的 KV 管理，进一步节省显存。
MidTool：面向智能体工具使用的中期训练数据合成
🧭 Agent 工具使用 · 中期训练数据合成 ★ 深度解读
University of Washington · Snowflake · University of North Carolina at Chapel Hill
构建首个通用工具使用中期训练语料MidTool-Mix，显著提升4B/8B模型在函数调用、多步交互和MCP任务上的表现
📌 工作参考价值（4 点）
- 将工具文档、API schema、代码仓库等非结构化数据合成 agentic trajectories 用于 mid-training，可让模型提前学会参数 extraction 和 workflow composition；电商推荐 Agent 可借鉴此思路，针对商品搜索、订单、优惠券等内部 API 构建专属语料，减少对 post-training 的依赖。
- 两条合成分支分别针对 grounding（从文档/PDF生成 QA 和轨迹）和 execution（从真实 API/MCP 生成可执行轨迹），且必须组合才能全面收益；业务上可分别构建「文档问答+多轮调用轨迹」与「真实工具交互轨迹」两个数据管道，避免单一类型导致能力偏科。
- 数据配比约 42% web + 26% code + 23% PDF + 9% native agentic trajectories，其中 9% 的 native 轨迹对精确函数调用贡献最大；在构建内部工具使用语料时可参考此比例，优先保底 code/文档，但必须预留一部分真实可执行轨迹。
- 训练顺序上先 mid-training 再 SFT/RL 能显著提升多轮交互和 unseen tool 泛化，且 SFT 收敛更快；如果业务已有工具调用 SFT 数据，可先做一轮小规模 mid-training 初始化，再用原有 SFT 数据微调，投入产出比高。
Data Turnstile：面向函数调用的可扩展数据合成开放框架
🧭 小模型工具调用数据合成 ★ 深度解读
Amazon AGI
将多轮工具调用交互分解为逐角色生成与验证，用高质量合成数据让 0.6B SLM 无需 CoT 即超越 4B 基座。
📌 工作参考价值（4 点）
- 自定义域数据生成：电商 Agent、搜索助手等场景下，只需提供自有 API 定义与策略文档，即可用 Turnstile 合成高质量多轮对话数据，训练轻量工具调用模型，降低推理延迟和部署成本。
- 模板化验证提升质量：借鉴逐角色生成+结构 / 语义验证+错误重试的流水线，可在内部数据生产中避免一次性生成导致的 API 幻觉、格式错误等；动态注入“无关 API 拒绝”训练样本，解决模型盲目录入调用问题。
- 无 CoT 加速推理：经 Turnstile 数据微调的 SLM 在单轮简单任务上无需 CoT 即可超越带思考的基座，适合对延迟敏感的线上服务；但多轮复杂任务仍需保留 CoT，可依据任务复杂度灵活选择推理模式。
- 多样性控制方法：模板分布、参数组合采样和动态扰动（如模拟 API 执行失败、用户不配合）能显式控制数据多样性，优于仅靠温度采样的方式，适合构造覆盖长尾与异常情况的稳健训练集。
UltraX: 大规模自适应程序化编辑精炼预训练数据
🧭 预训练数据精炼 · 程序化编辑
Peking University · ModelBest Inc. · Tsinghua University · Shanghai Jiao Tong University
提出函数调用式程序编辑框架，以插入/删除/修改实现细粒度数据精炼，提升预训练数据效率与质量
📌 工作参考价值（4 点）
- 可将数据清洗定义为插入、删除、修改的程序操作，用小型模型（0.6B）学习执行，在推荐系统的大规模预训练语料上实现快速、高质量的精炼，比纯规则或LLM方法更平衡效率与效果。
- 构造监督数据的方法（专家LLM生成精炼文本 → 行对齐 → 编辑操作序列）可直接迁移到商品描述优化、搜索词纠错等业务场景，低成本获取结构化编辑信号。
- 滑动窗口预测与全局操作聚合的推理策略增强了长序列编辑的稳定性，可用于推荐系统中超长行为序列的规范化处理。
- 低置信度过滤与基于操作组合的比例采样，可借鉴用于提升推荐模型微调的数据质量与训练分布稳定性。
超越函数调用：工具环境不可靠性下智能体基准测试
🧭 Agent 工具使用可靠性评估与恢复分析
Shanghai Jiao Tong University
提出ToolBench-X基准，系统注入五种可恢复工具风险，揭示Agent在不可靠环境中可靠性大幅下降，恢复能力不足。
📌 工作参考价值（4 点）
- 构建Agent时需模拟工具不可靠性进行鲁棒性测试：工具描述漂移、调用失败、输出异常等在真实API、数据库查询中常见，应设计恢复路径（重试、回退、交叉验证）。
- 评估Agent应超越单步函数调用准确率，关注端到端任务完成率，尤其考虑并行与混合工作流的可靠性。
- 实验表明仅扩大推理预算(test-time scaling)对解决工具不可靠性增益有限，更有效的是增强Agent的故障诊断与恢复逻辑，例如提供恢复提示(hints)能挽救大量失败任务。
- 在搜索推荐等涉及多工具调用的场景（商品API、用户画像、库存查询），可参考ToolBench-X设计结构化故障注入测试集，验证Agent在部分依赖失效时的降级方案。
异步工具调用基准：多任务场景下的异步函数调用能力评估
🧭 Agent异步工具调用评测与多任务协调 ★ 深度解读
University of Science and Technology of China · University of Toronto
提出首个交互式多任务环境下含延迟的异步工具调用基准，揭示延迟反馈显著降低LLM代理性能。
📌 工作参考价值（4 点）
- 电商客服或订单处理等多API场景下，可参考异步任务交错策略提升吞吐，利用Same‑task Streak指标评估Agent的调度效率。
- 延迟反馈下模型易因过早继续任务而违反依赖，工程实现中需引入显式依赖图、任务状态表防止非法调用。
- 多任务下小模型常遗忘未完成子任务，可设计外部任务队列或滑动记忆窗口避免任务丢失。
- 工具混淆错误频发，建议按任务类型隔离工具命名空间，并用工具调用前检验上下文的提示减少误用。
无需模型修改的并发：面向LLM的基于Future的异步函数调用
🧭 Agent ★ 深度解读
University of California, Berkeley
提出AsyncFC，通过Future占位符解耦LLM解码与函数执行，实现无模型修改的异步工具调用并显著降低延迟